作为 Meta 的前 CTO，Quora CEO Adam D'Angelo 目前还是 OpenAI 的董事会成员，在 Quora 之外推出的 Poe，成为当下接入大模型最多的 Chatbot 平台：GPT-4、Claude3、Mistral 等模型都有，用户也可以在上面搭建自己的 Chatbot 机器人，如果有别的用户使用，还可以产生收益。
这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。
Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。
刚刚，Mistral AI 的模型又更新了。 这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。
成立仅9个月，法国Mistral AI拿出仅次于GPT-4的大模型。
2月26日，总部位于巴黎的人工智能公司Mistral AI发布尖端文本生成模型Mistral Large。该模型达到了顶级的推理能力，可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。
本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。
2023年，有超过10家AI初创公司接受了传统科技巨头的大额投资，不断建立并且强化了微软—OpenAI式的合作关系，甚至引发了英美两国的监管机构的关注。
爆火社区的Mixtral 8x7B模型，今天终于放出了arXiv论文！所有模型细节全部公开了。
